Alp Arslan đi theo chú Tughril Bey đánh nhà Fatima theo phái Shia trong khi cha ông Çağrı Bey vẫn ở lại Khorasan. Khi Alp Arslan quay trở về Khorasan, ông bắt đầu công việc quản lý theo hướng dẫn của cha mình. Trong khi đó, cha của ông giới thiệu cho ông một trong những chính khách nổi tiếng nhất trong lịch sử sơ kỳ Hồi giáo Nizam al-Mulk, người về sau trở thành vizia tương lai của Alp Arslan.[3]

Ông nối nghiệp cha Chaghril Begh làm tỉnh trưởng Khorasan năm 1059. Sau khi người chú của Alp Arslan là sultan Toghrul Bey qua đời, ông được anh Alp Arslan là Suleyman lên kế vị. (xem bài: Trận Damghan (1063)) Tuy nhiên, Alp Arslan và chú họ là Kutalmish gây chiến với nhau để tranh giành quyền thừa kế. Alp Arslan đánh bại Kutalmish và ngày 27 tháng 4 năm 1064 ông lên ngôi hoàng đế Đại Seljuk, đồng thời cũng trở thành vua Ba Tư trị vì trên một vùng đất trải dài từ sông Oxus tới sông Tigris.

Trong việc củng cố lại đế chế và triệt hạ các phe đối lập, Arslan đã nhận được sự hỗ trợ tài đắc lực từ quân sư Nizam al-Mulk. Cả hai người đều được ghi nhận trong việc giữ ổn định cho đế chế sau cái chết của Tughril. Sau khi thiết lập được hòa bình và an ninh trên lãnh thổ của mình, Arslan cho kêu gọi hội nghị toàn quốc vào năm 1066. Tại đây, ông phong con trai Malik Shah I làm thái tử.[4] Với mong muốn chiếm Caesarea Mazaca, thủ phủ của Cappadocia, ông đích thân dẫn đầu đội kỵ binh người Thổ vượt sông Euphrates rồi tấn công và chiếm đóng thành phố. Cùng với Nizam al-Mulk, ông đem binh đánh Armenia và Gruzia và chiếm được hai nước trong năm 1064. Sau một cuộc vây hãm kéo dài 25 ngày, quân đội Seljuk chiếm được thành Ani, kinh đô của Armenia và chém giết dân chúng trong thành.[5] Những miêu tả về vụ thảm sát tại thành Ani được sử gia Ả Rập Sibt ibn al-Jawzi dẫn lời một nhân chứng:

Quân [Thổ] tiến vào thành, tàn sát dân chúng, cướp phá và đốt trụi thành, những gì họ để lại chỉ là một đống đổ nát và tất cả những người còn sống đều bị cầm tù... Xác chết nhiều vô kể, nằm ngổn ngang chặn hết mọi khu phố; người ta không thể đi bất cứ nơi nào mà không phải bước qua chúng. Số lượng tù nhân bị bắt không dưới 50.000 người. Tôi đã quyết định vào thành và đã phải chứng kiến sự tàn phá bằng chính mắt mình. Tôi đã cố gắng để tìm một con đường mà tôi sẽ không phải bước qua mấy cái xác chết; nhưng điều đó là không thể.[6]